# 데이터 형식 변환 (Data Format Conversion)

## 1. 개요
**데이터 형식 변환**이란 특정 소프트웨어나 시스템에서 생성된 데이터의 구조와 표현 방식(Format)을 다른 시스템이나 애플리케이션에서 인식하고 처리할 수 있는 다른 형식으로 변경하는 과정을 의미한다. 현대의 데이터 생태계는 다양한 언어와 플랫폼으로 구성되어 있어, 서로 다른 시스템 간의 데이터 호환성(Interoperability)을 확보하고 데이터 통합 및 분석을 수행하기 위해 필수적인 기술적 절차이다.

## 2. 주요 데이터 형식의 종류
데이터 형식은 크게 사람이 읽을 수 있는 **텍스트 기반 형식**과 컴퓨터가 효율적으로 처리하는 **바이너리 기반 형식**으로 나뉜다.

### 2.1 텍스트 기반 형식 (Text-based Formats)
- **JSON (JavaScript Object Notation):** 키-값 쌍으로 이루어진 경량 데이터 교환 형식으로, 웹 API에서 표준으로 사용된다.
- **XML (eXtensible Markup Language):** 태그를 사용하여 데이터 구조를 정의하는 형식으로, 복잡한 계층 구조 표현과 문서 표준화에 강점이 있다.
- **CSV (Comma-Separated Values):** 쉼표로 구분된 단순 텍스트 파일로, 표 형식의 데이터를 저장하는 가장 보편적인 방법이다.
- **YAML (YAML Ain't Markup Language):** 들여쓰기를 통해 구조를 정의하며, 가독성이 매우 높아 설정 파일(Configuration) 작성에 주로 쓰인다.

### 2.2 바이너리 기반 형식 (Binary-based Formats)
- **Avro:** Apache Hadoop 생태계에서 사용되며, 스키마를 데이터와 함께 저장하여 진화하는 데이터 구조를 효율적으로 처리한다.
- **Parquet:** 열 지향(Columnar) 저장 형식으로, 대규모 데이터 분석 시 필요한 열만 읽어 들여 I/O 성능을 극대화하며, 높은 압축률을 통해 저장 공간을 획기적으로 절감한다.
- **Protocol Buffers (Protobuf):** 구글에서 개발한 직렬화 형식으로, 매우 작은 크기와 빠른 처리 속도를 제공하여 마이크로서비스 간 통신(gRPC)에 사용된다.

### 2.3 데이터 형식 비교표

| 형식 | 가독성 | 처리 속도 | 저장 용량 | 주요 용도 | 특징 |
| :--- | :---: | :---: | :---: | :--- | :--- |
| **JSON** | 높음 | 보통 | 보통 | 웹 API, 설정 파일 | 범용성 높음, 스키마 없음 |
| **XML** | 보통 | 낮음 | 높음 | 기업 간 데이터 교환 | 엄격한 구조, 메타데이터 풍부 |
| **CSV** | 높음 | 높음 | 낮음 | 데이터셋, 스프레드시트 | 단순 구조, 계층 표현 불가 |
| **YAML** | 매우 높음 | 보통 | 보통 | CI/CD 설정, K8s 설정 | 인간 중심적 설계 |
| **Avro** | 낮음 | 매우 높음 | 낮음 | Kafka, 빅데이터 스트리밍 | 스키마 진화 지원 |
| **Parquet** | 낮음 | 매우 높음 | 매우 낮음 | 데이터 웨어하우스, OLAP | 열 기반 압축, 분석 최적화 |
| **Protobuf** | 낮음 | 최고 | 최저 | gRPC, 내부 서비스 통신 | 강력한 타입 체크, 고성능 |

## 3. 데이터 변환 프로세스 및 원리
데이터 형식 변환은 단순히 확장자를 바꾸는 것이 아니라, 데이터의 논리적 구조를 재구성하는 일련의 파이프라인을 거친다.

1. **원본 데이터 추출 (Extraction):** 소스 시스템으로부터 원본 데이터를 읽어 들인다.
2. **파싱 (Parsing):** 원본 데이터를 문법적으로 분석하여 의미 있는 단위(토큰)로 분리하고 내부 구조로 변환한다.
3. **중간 표현 (IR) 생성:** 특정 형식에 종속되지 않는 추상적인 데이터 모델로 변환한다. 이 단계가 있어야 N개의 형식을 M개의 형식으로 변환할 때 N x M이 아닌 N + M의 변환 로직만 구현하면 된다.
4. **직렬화 (Serialization):** 중간 표현 상태의 데이터를 대상 형식(Target Format)의 문법과 규칙에 맞게 바이트 스트림이나 텍스트로 변환하여 저장한다.

## 4. 주요 변환 시나리오 및 방법
가장 빈번하게 발생하는 변환은 정형 데이터(CSV)를 반정형 데이터(JSON)로 변환하거나, 레거시 시스템의 XML 데이터를 현대적인 JSON으로 변환하는 사례이다.

### 4.1 Python을 이용한 변환 예제 (CSV $\rightarrow$ JSON)
Python의 `pandas` 라이브러리는 다양한 데이터 형식 간의 변환을 매우 효율적으로 수행한다.

```python
import pandas as pd
import json

# 테스트용 CSV 파일 생성 (실행 가능하도록 추가)
test_data = {
    'id': [1, 2, 3],
    'name': ['Alice', 'Bob', 'Charlie'],
    'email': ['alice@example.com', 'bob@example.com', 'charlie@example.com']
}
pd.DataFrame(test_data).to_csv('data.csv', index=False)

# 1. CSV 파일 읽기
df = pd.read_csv('data.csv')

# 2. DataFrame을 딕셔너리 리스트 형태로 변환
data_list = df.to_dict(orient='records')

# 3. JSON 파일로 저장
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data_list, f, ensure_ascii=False, indent=4)

print("Conversion completed: CSV to JSON")
```

### 4.2 변환 도구별 성능 벤치마크 (추정치)
데이터 크기가 1GB일 때, 변환 도구 및 라이브러리에 따른 처리 속도와 메모리 사용량의 일반적인 경향은 다음과 같다.

| 도구/라이브러리 | 처리 속도 (Throughput) | 메모리 효율성 | 특징 |
| :--- | :---: | :---: | :--- |
| **Python (json/csv)** | 낮음 | 보통 | 구현이 쉬우나 대용량 처리 시 느림 |
| **Pandas** | 보통 | 낮음 | 벡터화 연산으로 빠르나 메모리 점유율 높음 |
| **Apache Spark** | 매우 높음 | 높음 | 분산 처리를 통해 테라바이트급 데이터 처리 가능 |
| **FastJSON/Jackson (Java)** | 높음 | 높음 | JVM 최적화로 빠른 직렬화/역직렬화 제공 |

## 5. 변환 시 주의사항 및 최적화

### 5.1 주요 기술적 이슈
- **데이터 타입 불일치 (Type Mismatch):** 예를 들어, CSV는 모든 데이터가 텍스트로 저장되지만, JSON으로 변환 시 숫자(Number)와 불리언(Boolean) 타입을 구분해야 한다. 잘못된 타입 지정은 하위 시스템에서 런타임 에러를 유발한다.
- **인코딩 문제:** UTF-8, EUC-KR 등 인코딩이 일치하지 않을 경우 **문자 깨짐(Mojibake) 현상**이 발생한다. 표준인 UTF-8 사용을 권장한다.
- **메모리 효율성:** 대용량 파일을 한 번에 메모리에 올리는 `read()` 방식 대신, 한 줄씩 처리하는 **스트리밍(Streaming)** 또는 **청크(Chunk)** 처리 방식을 사용해야 한다.

### 5.2 데이터 손실 사례와 해결책

| 손실 사례 | 원인 | 해결책 |
| :--- | :--- | :--- |
| **정밀도 손실** | 부동 소수점(Float) 변환 시 반올림 오차 발생 | `Decimal` 타입 사용 또는 문자열로 유지 |
| **구조적 손실** | 계층 구조(XML) $\rightarrow$ 평면 구조(CSV) 변환 시 하위 노드 유실 | 데이터 평탄화(Flattening) 전략 수립 및 키 이름 조합 |
| **특수 문자 유실** | 이스케이프(Escape) 처리 미비로 인한 구분자 충돌 | 따옴표 처리(`quoting`) 및 표준 이스케이프 시퀀스 적용 |
| **타입 정보 유실** | 스키마가 없는 형식(CSV)으로 변환 시 타입 정보 소멸 | 별도의 스키마 정의 파일(JSON Schema, Avro IDL) 관리 |
| **메타데이터 유실** | 파일 속성이나 헤더 정보가 없는 형식으로 변환 시 문맥 상실 | 별도의 사이드카(Sidecar) 파일이나 메타데이터 저장소 운영 |

## 6. 관련 기술 및 도구
- **ETL (Extract, Transform, Load):** 데이터를 추출, 변환, 적재하는 전체 프로세스를 의미한다.
    - **Apache NiFi:** 데이터 흐름(Dataflow)을 시각적으로 설계하고 실시간으로 데이터를 라우팅 및 변환하는 데 최적화되어 있다.
    - **Apache Airflow:** 복잡한 변환 작업의 의존성을 관리하고 스케줄링하는 워크플로우 오케스트레이션 도구이다.
    - **기타 도구:** Talend, Informatica, AWS Glue 등이 기업 환경에서 널리 사용된다.
- **스키마 정의 언어 (SDL):** 데이터의 구조를 미리 정의하는 언어로, Protobuf의 `.proto` 파일이나 Avro의 `.avsc` 파일이 이에 해당한다. 이는 변환 시 데이터 무결성을 보장하는 기준이 된다.
- **온라인 변환기:** 소량의 데이터를 빠르게 변환할 때 사용하지만, 보안이 중요한 기업 데이터의 경우 외부 서버로 데이터가 전송되므로 사용을 지양해야 한다.